http://www.arocmag.com/article/02-2019-05-026.html 


置信 传播 和 模拟 退火 相 结 合 求解 约束 满足 问题 
吴 拨 荣 ， 赵 春 艳 ， 原 志 3 


(上 海 理 工大 学 理学 院 ， 上 海 200093) 


摘 要 : 约束 满足 问题 是 人 工 智能 领域 的 一 个 重要 问题 。 针 对 一 个 具有 精确 相 变 现象 和 能 产生 大 量 难 解 实例 的 随机 约 
束 满足 问题 ， 提 出 了 置信 传播 和 模拟 退火 相 结合 的 求解 算法 。 这 种 算法 先 通过 置信 传播 方程 收敛 后 得 到 变量 取 值 的 边 
际 概率 分 布 ,分 别 采 用 最 大 概 府 和 最 小 分 量 炳 的 策略 产生 一 组 启发 式 的 初始 赋值 , 再 用 模拟 退火 对 这 组 赋值 进行 修正 。 
实验 结果 表明 : 该 算法 大 大 提高 了 初始 赋值 向 最 优 解 收敛 的 速度 ， 表 现 出 了 显著 优越 于 模拟 退火 算法 的 求解 性 能 
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Combining belief propagation and simulated annealing to solve random satisfaction problems 


Wu Borong, Zhao Chunyan', Yuan Zhiqiang 
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Abstract: Constraint satisfaction problem is an important issue in the field of artificial intelligence. This paper proposed two 
algorithms combining belief propagation and simulated annealing to solve a random constraint satisfaction problem with exact 
phase transitions and large number of hard instances. The algorithms firstly obtain the marginal probability distribution of 
variable values after the convergence of the belief propagation equation, then uses the strategy of maximum probability and 
minimum component entropy to generate a set of heuristic initial assignments, and then uses simulated annealing to modify the 
assignments. The experimental results show that the algorithms greatly improves the convergence rate from the initial 
assignments toward the optimal solution, and shows a significant advantage over simulated annealing algorithm. 
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(satisfiability， 简 称 SAT)、RB 模型 、 最 小 顶点 覆盖 问题 和 哈 

密 顿 回路 问题 等 。 

约束 满足 问题 (constraint satisfaction problem，CSP) 是 人 工 RB (revisedB ) 模型 是 许可 和 李 未 为 克服 标准 CSP 模型 
智能 研究 领域 中 一 个 非常 重要 的 分 支 ， 也 是 理论 计算 机 科学 的 。” B 模型 的 平凡 渐 近 不 可 满足 性 而 提出 的 由 。 早 期 的 许多 理论 分 
研究 热点 之 一 。 同 时 ，CSP 在 可 信 计 算 、 启 发 式 算法 、 求 解 器 。 析 和 算法 实验 都 是 围绕 四 个 标准 的 CSP 模型 A、B、C、D 展开 
设计 、 大 规模 集成 电路 的 自动 布线 、 计 算 机 视觉 、 定 理 证 明 、 的 。 然 而 ，Achlioptas 等 人 指出 这 四 个 模型 存在 一 个 共同 的 缺 
机 器 人 动作 规划 和 机 器 学 习 等 诸多 领域 都 有 非常 广泛 的 应 用 。 点 ， 即 平凡 渐 近 无 解 性 所 。 也 就 是 说 ， 随 着 NM 一 co ， 这 四 个 模 
一 个 CSP 由 个 变量 和 MM 个 约束 组 成 。 每 个 变量 从 其 定 。 型 几乎 都 存在 一 个 缺陷 (flawed) 变量 , 这 个 变量 的 任何 取 值 都 

义 域 万 中 取 值 , 每 个 约束 由 从 N 个 变量 中 随机 挑选 的 上 个 不 同 ”不 能 使 其 所 在 的 约束 可 满足 。 为 了 克服 这 一 缺点 ， 一 些 改进 的 
的 变量 构成 ， 并 且 有 一 个 相应 的 不 协调 赋值 集合 8 来 限制 这 模型 相继 被 提出 5。 这 些 改进 的 模型 在 约束 关系 中 加 入 了 如 弧 
相 容 、 路 径 相 容 等 特殊 结构 ， 虽 然 能 产生 非 平凡 的 难 解 实例 ， 
但 是 实例 不 是 以 简单 、 自 然 的 方式 产生 的 。2000 年 ， 许 可 和 李 
M 个 构成 这 个 CSP 的 一 个 随机 实例 。 求 解 CSP 就 是 至 少 找到 ”未 提出 了 对 标准 B 模型 的 一 个 修改 模型 即 RB 模型 ， 通 过 对 变 
随机 实例 的 一 个 解 ， 也 就 是 这 个 变量 的 一 组 完全 赋值 , 使 得 。” 量 定义 域 规模 和 约束 数目 的 限制 ,避免 了 B 模型 不 能 产生 难 解 
这 M 个 约束 同时 被 满足 ;或 者 证 明 随机 实例 无 解 ,一 般 情况 下 ， ”实例 的 缺点 。 许 可 和 李 未 在 文献 [1] 中 用 二 阶 矩 的 方法 严格 证 明 
随机 CSP 是 NP- 完 全 问题 。 常 见 的 随机 CSP 有 可 满足 性 问题 “了 RB 模型 存在 精确 的 可 满足 性 相 变 现象 。 随 后 ， 许 可 等 分 别 
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从 理论 和 实验 上 说 明 在 可 满足 性 相 变 发 生 的 阔 值 附近 ，RB 模 
型 随机 实例 的 求解 难度 随 着 N 的 增加 呈 指 数 级 增长 ， 即 RB 模 
型 在 相 变 区 域 涌现 出 大 量 非 平 几 的 难 解 实例 1。RB 模型 自 提 
出 以 来 ， 在 较 短 的 时 间 内 ， 就 受到 了 美国 、 英 国 、 加 拿 大 、 法 
国 和 希腊 等 同行 的 关注 ， 并 被 一 些 学 者 广泛 研究 和 引用 。 虽 然 
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C={G,G,.sCy} 表示 M 个 约束 的 集合 ， 每 个 约束 


C = XX,,Q, >， 这 里 X. = ft ,2 表示 从 个 变量 中 随 
机 挑选 k (>2) 个 不 同 的 变量 ，Q, 表示 X, 的 不 协调 赋值 集 
合 来 限制 这 大 个 变量 的 取 值 ， 即 若 对 X. 中 这 个 变量 的 赋值 


RB 模型 的 可 满足 性 相 变 现象 和 相 变 点 已 经 严格 确立 ， 但 是 求 
解 一 个 随机 实例 却 极 具 挑战 。 以 RB 模型 为 基础 构造 的 可 满足 
性 问题 、 约 束 满足 问题 、 最 大 团 、 伪 布尔 和 集合 覆盖 等 问题 作 
为 难 解 算 例 被 广泛 应 用 于 各 种 算法 竞赛 。2011 年 ， 赵 春 艳 等 引 
入 统计 物理 中 无 序 系 统 的 空 腔 场 方法 ， 提 出 了 由 置信 传播 
(beliefpropagation，BP) 引导 的 消息 传递 算法 来 求解 RB 模型 
的 随机 实例 四。 随后， 赵 春 艳 等 人 提出 了 一 种 基于 变量 炉 的 BP 
算法 I。 2012 年 , 赵 春 艳 等 人 提出 了 加 强 的 BP (reinforced BP) 
算法 求解 临近 相 变 点 时 由 RB 模型 生成 的 随机 实例 ， 并 进一步 
前 出 了 RB 模型 解 空间 的 结构 特征 和 算法 求解 复杂 性 之 间 的 联 
系 00。2015 年 ， 任 雪亮 在 BP 方程 中 加 入 惩罚 值 ， 使 得 BP 算 
法 适用 于 求解 最 大 约束 满足 问题 的 RB 模型 01。2016 年 ， 王 晓 
峰 和 许 道 云 从 理论 上 分 析 了 文献 [9] 中 提出 的 基于 变量 粹 的 BP 
算法 在 RB 模型 可 满足 区 域内 的 收敛 性 3。2017 年 ， 原 志 强 和 
赵 春 艳 提出 了 两 种 有 效 的 改进 的 模拟 退火 算法 即 RSA (revised 
simulated annealing algorithm ) 和 GSA ( genetic-simulated 
annealing algorithm ) 来 求解 RB 模型 的 随机 实例 D31。 

文献 [13] 中 提出 的 RSA 算法 是 对 一 组 随机 初始 化 的 赋值 利 
用 改进 的 模拟 退火 算法 进行 修正 直到 得 到 随机 实例 的 最 优 解 为 
止 。 事实 上 ， 算 法 的 效率 对 初始 赋值 具有 较 强 的 依赖 性 。 一 组 
好 的 启发 式 初始 赋值 会 大 大 提高 不 完全 算法 的 求解 效率 。 而 置 
信 传 播 算法 (BP) 是 一 种 经 典 的 消息 传递 算法 ， 在 求解 NP- 完 
全 问题 中 取得 了 很 好 的 效果 。 基 于 以 上 分 析 ， 本 文 将 置信 传播 
算法 (BP) 与 文献 [13] 中 提出 的 改进 的 模拟 退火 算法 RSA 相 结 
合 ， 提 出 了 两 个 BP-RSA 算法 用 于 求解 具有 可 变 取 值 域 的 随机 
约束 满足 问题 即 RB 模型 ,分 别称 为 BP-RSA-1 算法 和 BP-RSA- 
2 算法 。 在 这 两 个 算法 中 ， 先 将 RB 模型 的 随机 实例 表示 成 天 
子 图 ， 利 用 BP 迭代 方程 收敛 后 得 到 变量 取 其 定义 域 中 各 个 分 
量 的 边际 概率 ， 分 别 采用 最 大 概率 赋值 和 最 小 分 量 炉 赋值 的 策 
略 得 到 一 个 启发 式 的 初始 赋值 , 然后 再 利用 RSA 算法 对 这 个 初 
始 赋值 进行 修正 ， 从 而 得 到 这 个 随机 实例 的 最 优 解 。 数 值 结 果 
表 


T 


明 于 Q,， 则 称 约束 C。 是 不 可 满足 的 ， 否 则 就 称 这 个 约束 就 是 
可 满足 的 。 本 文 由 以 下 两 步 生 成 RB 模型 的 随机 实例 
RB(k, N,r,a, P)D。 


a) 从 可 能 的 [ 个 约束 中 随机 、 可 重复 地 挑选 M 个 构成 约 


束 集合 {Cj} ， 这 里 M =rNInN 且 r>0 是 常数 ; 

b) 对 每 个 约束 C=<X,,Q, > ， 随 机 挑选 下 个 不 同 的 变量 
即 X, 构成 约束 Cs ; 从 可 能 的 q" 个 赋值 中 随机 、 不 重复 地 选取 
pda“ 个 -元 赋值 作为 X, 的 不 协调 赋值 集合 Q. ， 即 2. cD' 且 


= pd" ， 这 里 0< p <1 表 示 约 束 紧 度 。 


0, 


可 以 看 出 ， 在 RB 模型 中 ， 变 量 的 定义 域 规模 4 随 着 变量 
数 N 的 增加 呈 多 项 式 级 增长 ， 约 束 数目 的 阶 为 COVIin N) 。 许 
可 和 李 未 在 文献 [1] 中 己 经 严格 证 明 RB 模型 存在 精确 的 可 满足 
性 相 变 现象 ， 即 用 Pr(SA7) 表示 随机 实例 RB(K,NN,r,Q,p) 有 解 
的 概率 ， 则 有 以 下 结论 成 立 : 


、 i 1 Se 
定理 1 设 ， =1-e ry 有 r>0 是 个 常数 ， 且 


a 


满足 ker>1? 则 


l, p<p, 


lim Pr(SAT) = | 
N 一 oo 0, p> ps 


EV 1 et 
定理 2 设 7,=- 车 a > 一 ，0< p<1 是 两 个 常 
In(1— 7p) 天 
AH 1 
数 ， 且 满足 上 > 一 一 ， 则 
l=p 
. l, r<r 
lim Pr($SA7T)= 
No 0, r>r 


这 两 个 定理 表明 存在 益 值 p, 或 1, 当 N 一 % 时 , 车 p>， 
(或 ">7), RB 模型 随机 实例 可 满足 的 概率 趋 于 0; 车 P< 
(或 <7), RB 模型 随机 实例 可 满足 的 概率 趋 于 1。 也 就 是 说 


明 : 在 控制 参数 〈 即 约束 紧 度 ) 进入 相 变 区 域 时 ， 算 法 总 是 
能 有 效 地 找到 RB 模型 随机 实例 的 解 ， 并 且 表 现 出 显著 优 于 
RSA 算法 的 性 能 。 在 非常 接近 理论 的 可 满足 性 相 变 点 时 本 文 提 
出 的 BP-RSA-1 算法 和 BP-RSA-2 算法 都 陷入 了 局 部 最 优 解 ， 
从 而 失效 。 虽 然 这 两 个 算法 此 时 都 无 法 找到 RB 模型 随机 实例 
的 解 ， 但 是 得 到 的 最 优 解 只 使 得 极 少数 的 约束 不 可 满足 。 


1 RB 模型 


设 关 = {4,%,…,XNy} 表示 个 变量 的 集合 ， 每 个 变量 都 
在 定义 域 D={1,2,3,.…,4} 中 取 值 ， 令 4d = Ne ，w > 0 为 常数 ; 


随 着 控制 参数 了 (或 + ) 的 不 断 增加 ， 随 机 实例 有 解 的 概率 经 
历 了 从 1 到 0 的 突然 转变 ， 这 就 是 所 谓 的 可 满足 性 相 变 现象 。 
2006 年 , 许可 和 李 未 在 文献 [7] 中 证 明了 RB 模型 的 随机 实例 对 
于 树 型 归结 具有 指数 级 下 界 ， 指 出 RB 模型 在 相 变 区 域 能 产生 
大 量 的 难 解 实例 。 


2 ”两 种 改进 的 置信 传播 算法 


2.1 RB 模型 的 因子 图 表示 
将 RB 模型 随机 实例 RB(k,N,r,Q,p) 表示 成 因子 图 形式 ， 
如 图 1 所 示 。 因 子 图 是 一 个 二 分 无 向 图 ， 其 中 变量 节点 用 圆圈 
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表示 ， 记 做 i,j,k,.… ; 约束 节点 用 方 框 表示 ， 记 作 a,b,c,.…; 若 
变量 i 出 现在 约束 a 中 ， 则 (a,i) 用 边 相连 。 显 然 ， 每 个 约束 节 


点 的 度 为 上 ， 每 个 变量 节点 的 平均 度 为 二 =rimN ,因此 RB 模 


型 随机 实例 的 因子 图 是 局 部 树 状 结构 的 ， 这 是 使 用 
法 的 先决 条 件 。 


信 传 播 算 


2\/k 2\/ Kk 2N/ Kk 


图 1 RB 模型 随机 实例 的 因子 图 表示 


于 大 >2 时 了 RB 模型 都 是 NP- 完 全 的 ， 因此 算法 实验 中 
k=2， 即 考虑 算法 在 随机 实例 RB(2,N,r,a,p) 上 的 性 能 。 若 取 
一 组 参数 N=6, r=0.9, g=0.6, p=0.2, 则 d=3,|0 上 =2， 


2 


M =10 ， 由 RB(2,6,0.9,0.6,0.2) 生成 的 一 个 随机 实例 的 因子 图 
如 图 2 所 示 ，Q, 是 约束 a 相应 的 不 协调 赋值 集合 。 不 难 验证 ， 
对 这 6 个 变量 的 一 组 完全 赋值 X={3,3,3,2,1,1} 是 这 个 实例 的 一 
个 解 . 

2 0 1| 0={0.D,0,3)} 

10 Q,={(2,2),(1,3)} 

© Q,={(2,2),01,2))} 

4 9 Q,={(2,2),01,3)} 

0 © Q; ={(1,2), (2,3)} 

Q; ={(2,3), (2, 2)} 

(CD 一 | Q,={(1,2),(2,3)} 

7 Q={(2,D,0,D)} 

0,={(3,D,(3,3)} 


5 BE 8 


RB(2,6.0.9,0.6.02) 生成 的 一 个 随机 实例 的 因子 图 


Qo={(1,3), (3,3)} 


图 2 


2.2 BP 方程 


设 X=(7, 石 …,Xw) 为 RB 模型 随机 实例 的 一 组 完全 赋值 ， 


Xk = (好 , 邓 , 双 ) 为 构成 约束 a 的 变量 的 一 组 赋值 。 将 目标 函 
数 定义 为 不 可 满足 约束 的 数目 ， 即 
E(X,)= >,[1—S(XE)] (1) 


其 中 


若 (X1 ,9 ) 0 


]， 
9(X0) = i (2) 
0， 右 (Xf ,0X ) EQ, 


ChinaX Bi 合作 期 刊 。 


由 此 可 见 ， 若 
例 的 一 个 解 。 否 则 ， 


标 函 数值 为 0， 表 示 这 组 完全 赋值 就 是 实 
不 是 这 个 实例 的 解 。 


在 因子 图 的 每 条 边 (i,a) 上 定义 两 种 信息 , 分 别 为 变量 


给 约束 的 信 


上 La(d;) 和 约束 发 送 给 变量 的 
里 we(4) 表示 在 假设 没有 约束 a 的 情况 下 ， 


言 息 Nay (di) a 
Re d; 


(Cd e D ) 的 概率 ，7, (4,) 表示 约束 a 要 求 变量 i 取 值 为 d， 
Cd eD ) 的 概率 。 根据 统计 物理 学 中 无 序 系统 的 空 腔 场 理论 ， 


可 得 置信 传播 方程 即 BP 友 代 方程 为 
Misaldi) = 六 由 UJ (d) (3) 


7a (d;) = 2 > 


djeD,jeV(a)i 


VQ 表示 与 变量 i 相关 联 的 约束 集合 ， 
V(a) 表示 与 约束 4 相关 联 的 变量 集合 ， 
i; Zi 与 Lay 是 归 一 化 因子 。 


其 中 : 
VQ 中 去 除 约束 a ; 
V(a) \i 表 示 从 V(a) 中 去 除 变量 


S(Xo0) Il Hiya (Qi) (4) 


jeV(a)\i 


V(D)\a 表示 从 


若 BP 和 迭代 方程 收敛 , 则 可 以 得 到 一 组 不 动 点 记 为 7 ,(d,) 。 从 
而 可 以 利用 71,(d) 来 求 出 每 个 变量 i 取 值 的 边际 概率 1.(4d) ， 


即 
Il aeVv(i ld ) 
7 (di) (5) 
i aeV(i) 7 ,, d;) 
从 而 变量 i 取 值 为 4; 的 分 量 粒 为 
Si(d;)=—7,(d;) ln,(d)) (6) 


在 下 面 的 算法 中 ， 将 采 | 


两 种 策略 对 所 有 变量 进行 赋值 ， 


即 最 大 概率 赋值 和 最 小 分 量 入 赔 
量 取 其 边际 概率 中 最 大 值 所 对 应 的 那个 分 量 ， 


值 。 最 大 概率 赋值 就 是 每 个 变 
i 最 小 分 量 炉 赋 


值 就 是 每 个 变量 取 其 最 小 分 量 灶 所 对 应 的 那个 分 量 。 
在 约束 紧 度 了 较 小 的 情况 下 ， 由 这 两 种 策略 得 到 的 所 有 变 


量 的 一 组 完全 赋值 可 


赋值 作为 启发 式 的 初始 赋值 ， 


能 就 是 一 个 解 。 但 是 随 着 了 的 逐渐 增加 ， 
这 组 完全 赋值 就 不 再 是 问题 的 解 。 


这 种 情况 下 ， 把 得 到 的 这 组 


再 利用 文献 [13] 中 改进 的 模拟 退 


火 算法 RSA 对 这 组 赋值 进行 修正 ， 从 而 得 到 问题 的 最 优 解 。 本 


文 将 这 种 
算法 称 为 BP-RSA 算法 。 


信 传 播 (BP) 与 改进 的 模拟 退火 (RSA) 相 结 合 的 
采用 最 大 概率 策略 和 采用 最 小 分 量 箭 


策略 得 到 启发 式 初始 赋值 的 算法 分 别称 为 BP-RSA-1 算法 和 


BP-RSA-2 算法 。 

2.3 ”BP-RSA-1 算法 

输入 : 由 RB 模型 生成 的 一 
大 迭代 次 数 霹 ,。， 精 度 & 


个 随机 实例 也 


的 因子 图 ，BP 方程 


I 最 ; 初始 温度 五 ， 终 止 温度 人 ， 
度 控 制 参数 a ， 同 一 温度 下 迭代 的 次 数 工 。 


花山 


收敛 。 


三 


出 : 最 优 解 及 最 小 不 可 满足 约束 的 数目 ， 或 BP 方程 不 


a) 运 行 子 程序 BP 算法 ， 得 到 7 (4d) ; 
b) 对 每 个 变量 上 ， 由 式 〈5) 计算 其 取 各 个 分 量 的 边际 概率 


ni(di) 。 


将 边际 概率 中 最 大 值 所 对 应 的 分 量 取 值 赋 给 变量 i， 从 


而 得 到 一 组 启发 式 初始 赋值 并 设 为 sol ; 


201804.02049v1 


NaXiIVv: 


i 


ch 
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0o) 由 式 (1) 计算 当前 目标 函数 E(so7) ， 
赋值 sol_best=sol ， 及 当前 最 
E_best= E(sol); 


令 当 前 最 优 的 一 组 
少 不 可 满足 约束 的 数 


gd) 令 T=%; 

©) 令 i=0; 

这 (_best 一 0 ) {输出 最 优 解 sol_best ， 
足 约 束 数目 为 0}; 

else { do step7}; 

随机 生成 一 个 0 到 1 的 实数 rand。，; 

if (rando <1-3/7 ){ 随 机 选 出 sol 中 的 变量 
到 新 的 赋值 sol_new } 


else{ 令 sol = sol_best,， 


及 最 少 不 可 满 


Bi 


重新 赋值 ， 从 而 得 


随机 选取 一 个 不 可 满足 的 约束 ， 从 
其 所 关联 变量 的 协调 赋值 集合 中 随机 选取 一 组 赋值 ， 从 而 得 到 
一 组 新 的 赋值 记 作 sol_new }; 
h) 计 算 AE=E(sol)-E(sol_new); 
if(AE<0) {随机 生成 一 个 大 于 0 小 于 1 的 实数 rand, 
if (rand, <exp(-AE/T)) { 令 sol= sol_new} 


else {do step ))}; 
}; 
else { 令 sol= sol_new, E(sol)= E(sol_new)}; 
iD if (E(sol) <E_best { sol_best= sol, 
doj)} 
else {do step10}; 


E_best= E(so/l), 


j) i=itl; 
Kk)if(i<L){goto step6}, else{ T=a:T do step})}:; 
D 计 (7 <77r){ 则 输出 没 找到 解 }， 
其 中 ， 子 程序 BP 算法 如 下 : 
， 随 机 初始 化 因子 图 所 有 边 上 约束 发 送 给 变量 的 


else {do step e) }。 


a) 令 1=0 
信息 7;(4); 

b)t=t+1; 

co) 将 Di(d) 代入 式 (3) 得 到 变量 发 送 给 


约束 的 信息 
二 ， 1 
Lisa(di)( 如 果 i 为 叶子 节点 即 V@)\a= 多 ，, 则 令 jw ,,(q)) 二 ); 


d) 将 Ha(d) 代入 (4 更 新 信息 15d) ; 


ef (所 有 边 上 都 满足 zy-7<e J{ 则 令 


Wi(d)=7W 5(d;) ， 输 出 7 Cd) } 
else {do step b) }; 

人 并 (f= )，{ 输 出 BP 方程 不 收敛 }。 
2.4 BP-RSA-2 算法 
在 BP-RSA-2 算法 中 ， 采 用 最 小 分 量 信 策 略 来 得 到 一 组 启 
发 式 初 始 赋值 ， 然 后 再 用 RSA 算法 对 这 组 初始 赋值 进行 修正 。 
也 就 是 把 BP-RSA-1 算法 中 的 b) 改 为 

b) 对 每 个 变量 ;由 式 (6) 计 算 其 各 个 分 量 的 分 量 焙 Si(@) 。 
将 最 小 分 量 烂 中 所 对 应 分 量 的 取 值 由 给 变量 ， 从 而 得 到 一 组 
启发 式 初始 赋值 并 设 为 sol ; 


卫 


T 


Chi 
: 置信 传播 和 模拟 退火 相 结 


输入 输出 及 其 他 步骤 均 与 BP-RSA-1 算法 相同 。 
3 ”实验 结果 与 算法 分 析 
3.1 算法 结果 

对 于 RB 模型 ， 本 文 取 上 =2，aw=08 ，7r=3， 
N e {20,40,60,80,100} 。 由 定理 1 可 知 二 元 RB 模型 理论 的 可 
满足 性 相 变 点 为 p, = 0.234 。 在 不 同 N 下 ， 二 元 RB 模型 的 定 
义 域 规 模 d ， 约 束 数目 M 如 表 1 所 示 。 

表 1 二 元 RB 模型 在 不 同 问 题 规模 入 下 的 参数 值 


N CQ r d M ps 

20 0.8 3 11 180 0.234 
40 0.8 3 19 443 0.234 
60 0.8 3 26 737 0.234 
80 0.8 3 33 1052 0.234 
100 0.8 3 40 1382 0.234 


在 BP-RSA-1 和 BP-RSA-2 算法 中 , 均 取 BP 方程 的 最 大 和 迭 
代 次 数 和 ax=10 ， 和 迭代 精度 e=10* 。 对 于 不 同 的 NV，BP 迭代 方 
本山 册 上 基 的 50 个 RB(2,N,3,0.8, Dp) 实例 上 的 收敛 情况 如 图 
3 所 示 。 从 图 3 可 以 看 出 ，BP 迭代 方程 在 可 满足 性 相 变 点 
Pp; =0.234 之 前 都 是 以 概率 1 收敛 的 。 因 此 总 能 够 利用 收敛 后 
得 到 的 不 动 点 产生 一 组 启发 式 的 初始 赋值 。 在 RSA 算法 中 , 取 
初始 温度 石 =97 ,终止 温度 人 =3， 温度 控制 参数 a =0.8， 同 
一 温度 下 达 代 的 次 数 工 =10”。 


19 9 90 999 9 9 99—9—9 9—9— 人 A r 
SS v- N=40 
0.9 时 * N=60|]| 
Ga i -0- N=80 
, | 
Ww 
i 
闪 "” i 
wo 
冰 0.6 
学 和 
Wi 
山 0.5 | 
从 和 全 
纪 1 
0.4 上 
Bd tt 
和 \ 
四 0.3 a 
Lm 
0.2 1 中 
\ 
证 
tk 、\ 
0.1 i 
中 全 
9 


0 1 1 1 1 1 1 1 自 
0.16 0.18 0.2 0.22 0.24 0.26 0.28 0.3 0.32 0.34 0.36 0.38 
Pp 


图 3 BP 迭代 方程 收敛 结 


对 于 不 同 的 问题 规模 N ， 分 别 在 随机 生成 的 50 个 实例 
RB(2, N,3,0.8, p) 上 来 测试 BP-RSA-1 和 BP-RSA-2 这 两 个 算法 
的 求解 性 能 ,数值 结果 分 别 如 图 4 和 5 所 示 。 从 图 4 可 以 看 出 ， 
在 和 N=100 时 ，BP-RSA-1 算法 在 约束 紧 度 p< 0.11 的 范围 内 以 
概率 1 找到 解 ， 而 当 p > 0.15 时 算法 失效 ， 在 N = 20 时 ，BP- 
RSA-1 算法 在 约束 紧 度 p< 0.16 的 范围 内 以 概率 1 找到 解 ， 
p> 0.23 则 算法 失效 。 从 图 5 可 以 看 出 ,在 N=100 时 ,BP-RSA- 
2 算法 在 约束 紧 度 p<0.11 的 范围 内 以 概率 1 找到 解 ， 而 当 
p> 0.15 时 算法 失效 ; 在 N = 20 时 , BP-RSA-2 算法 在 约束 紧 度 
p< 0.16 的 范围 内 以 概率 1 找到 解 ，p > 0.22 则 算法 失效 。 值得 
注意 的 是 在 这 组 参数 下 , 理论 的 可 满足 性 相 变 点 为 p, = 0.234 ， 
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因此 这 两 个 算法 在 接近 相 变 点 时 都 能 有 效 地 找到 


实例 的 解 
且 这 两 种 算法 的 求解 效率 几乎 一 样 。 
] 和 本 复种 -各 -各 -本 - 钙 种 a 六 
NA -vy N=20 
0.9 WY -vw N-40 | 
o8| 四 1 -e N=60 | 
a 六 ©- N=80 
全 7 上 出 : \ 光 N=100 
话 0.6 上 | 中 1 \ 
或 0.5| 外 \ < 
尼 0.4 a ， \ 
ee 1 上 
0.3r 和 1 1 
半 太 t 本 入 
.2F 1 
v 和 
[ol 


: : 和 
0 0.020.040.060.08 0.1 0.120.140.160.18 0.2 0.220.240.26 
P 


4 ”BP-RSA-1 算法 在 50 个 随机 实例 上 的 求解 概率 


谍 了 : 
0.9 
Vy 
0.8 上 人 
和 vy 
交 , 让 和 \ 
i \ 
1 ， \ 
ee nn % 
1 
IAA x 
劲 0.5 和 SS 
次 | \ 
三 0.4 1 1 
和 ' 
VAN 
0.3r 和 \ 
[ER 
1 \ lL 
0.2 BE ， 
外 
到 
0.1 Vr 1 


x 
二 人 
0 Oo nd ed Ge 0.120.140. et 18 0.2 0.220.240.26 


Pp 


a 
# 


5 ”BP-RSA-2 算法 在 50 个 随机 实例 上 的 求解 概率 


BP-RSA-1 算法 和 BP-RSA-2 算法 对 于 不 同 的 变量 数目 
之 在 p= 0.06 处 求解 一 个 实例 所 需 的 平均 运行 时 间 如 


Hl 


图 6 所 示 。 
< 这 两 个 算法 对 于 不 同 的 N 在 p=0.1 处 求解 一 个 实例 所 需 的 
全 均 运行 时 间 如 图 7 所 示 
CS 

全 200 | 1 ; pe 
CO B 150 全 bpRsA 2 2 

量 oo ee 
3 sol es 
Eheim 1 1 1 | 
20 30 40 50 60 70 80 90 100 
N 
图 6 算法 在 p=0.06 处 的 平均 时 间 
400 [ T ] 
—0- BP-RSA-1 
万 300 A- BP-RSA-2 J 
量 2oo 要 
3 100 ee 
Oo , | 
20 30 40 50 60 70 80 90 100 
N 
图 7 算法 在 p=0.1 处 的 平均 时 间 
于 RB 模型 每 个 变量 的 取 值 有 N“* 个， 因此 WN 个 变量 可 
E 的 取 值 就 有 NN 个 ， 即 在 最 坏 情 况 下 ， 算 法 的 时 间 复 杂 度 为 
O(N”)。 从 图 6 和 7 可 以 看 出 ，BP-RSA-1 和 BP-RSA-2 算法 
具有 指数 级 的 时 间 复 杂 度 ， 即 算法 的 运行 时 间 随 着 变量 数目 N 
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， 的 增加 呈 指 数 级 增长 ， 并 且 这 两 个 算法 在 相同 的 约束 紧 度 下 运 
行 时 间 基 本 相同 。 


3.2 算法 比较 
将 本 文 提出 的 BP-RSA-1 


算法 和 BP-RSA-2 算法 与 文献 [13] 


中 提出 的 两 种 改进 的 模拟 退火 算法 即 GSA 算法 、RSA 算法 、 


图 
去 的 效率 相差 无 几 ， 都 显著 优 
随机 游 走 算法 。 与 GSA 算法 
率 。 取 p=0.12，, 将 RSA 算法 


二 < 


N e {20,40,60,80,100} 的 运行 时 间 


以 看 出 ，BP-RSA-1 算法 求解 一 了 


于 RSA 算法 和 GSA 算法 。 这 表 昌 


随机 游 走 算法 以 及 BP 随机 游 走 


E 算 法 在 N =100 时 进行 对 比 , 如 


8 所 示 。 不 难看 出 ， 本 文 提 出 的 BP-RSA-1 和 BP-RSA-2 算 


于 随机 游 走 算法 、RSA 算法 、BP 
相 比 ， 也 表现 出 了 良好 的 求解 效 
、GSA 算法 和 BP-RSA-1 算法 在 
进行 比较 ， 如 图 9 所 示 。 可 
dicot 
有 BP-RSA-1 算法 能 


个 随 


A 名 
到 实例 的 解 。 
1 伸 - 铅 - 古 - 命 -命定 市 -市 市 -多 次 T T T 
\ XxX、 Ue ss ”” 
| \ Se v- BP-RSA-1 
0.9 } —0- BP-RSA-2 
| 条 —*- RSA 
0.8 上 1 \ 
1 AN 上 -e 随机 游 走 
1 1 5 
六 | \ | -GSA 
1 1 ' 和  BP 随机 游 走 
1 1 5 | 
党 0.6 1 et \y 
守 1 才 1 
而 0.5 1 让 琶 
深 | Yi 
-0.4 和 用 i 
| | 4 下 
人 
8 | * nh 
1 \ 1 只 
Le) | \ \a 
. Vt 
0.1 上 所 入 x\ 
\ Ny 
0 0 


症 阁 市 全 古 宙 宙 市 让 
0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2 0.22 0.24 0.26 


P 


图 8 算法 求解 效率 的 比较 


800 
-0- GSA a 
五 600 二 对 
束 -> BP-RSA-1 下 -4f 
豆 
如 400| 上 -RSA _ 区 
© 200 a 2 
二 = 二 
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N 


图 9 算法 平均 运行 时 间 的 比较 


3.3 ”算法 分 析 
在 BP-RSA-1 算法 


bh, 取 N=60,， BP 迭代 方程 收敛 的 时 间 


和 BP-RSA-1 算法 的 运行 时 间 如 


图 1 


BP 和 友 代 方程 收敛 的 时 间 随 着 约束 紧 度 己 的 


而 随 着 了 的 不 断 增 大 , BP 迭代 方程 
运行 时 间 的 比例 越 来 越 小 ， 


这 就 表明 


0 所 示 。 从 图 10 可 以 看 出 ， 
曾 加 呈 线 性 增 
占 BP-RSA-1 算法 
约束 紧 度 了 越 大 ， 


公 
人 ， 


性 敛 时 间 


置信 


传播 (BP ) 算 法 得 到 的 一 引 


组 赋值 就 不 再 是 实例 


算法 花费 更 多 的 时 间 来 对 i 
得 到 最 优 解 。 
从 图 4 和 5 可 以 看 出 , BP-RSA-1 


相 变 点 p, =0.234 之 前 就 已 经 失效 ， 但 


二 


最 优 解 仅 使 
M =737 ， 


Ne 


p>0.17 时 ,| 


这 组 启发 式 的 初始 赋值 进行 人 


使 得 极 少数 约束 是 不 可 满足 的 。 例 如 ， 


的 解 , 越 需要 RSA 


你 正直 到 


和 BP-RSA-2 算法 在 理论 


种 算法 得 到 的 


Es 
十 由 过 


: 取 N=60， 


BP-RSA-1 算法 、BP-RSA-2 算法 、 
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A | 
| 
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RSA 算法 和 GSA 算法 所 得 到 的 平均 最 少 不 可 满足 约束 的 数 
如 表 2 所 示 。 


200 


国 国 BP 达 代 方 程 收 仇 时 间 
BP-RSA-1 算 法 运行 时 间 


150 上 
100 
50 上 
-有 围 | 


0.05 


时 间 对 比 (s) 


图 10 BP-RSA-1 二 运行 时 间 
表 2 算法 失效 时 所 得 到 的 平均 最 少 不 可 满足 约束 数 
p BP-RSA-1 BP-RSA-2 GSA RSA 
0.17 5.02 5.26 7.79 9.93 
0.18 6.92 7.28 10.73 12.65 
0.19 9.88 9.74 12.89 15.00 
0.20 11.20 10.84 16.10 17.29 


算法 的 平均 最 少 不 可 满足 约束 的 数目 占 约束 总 数 的 比例 约 
0.7%; 当 pP=0.20 时 ， 平均 最 少 不 可 满足 约束 的 数目 占 约束 


数 的 比例 约 为 1.5%。 这 充分 说 明 虽 然 这 两 个 算法 在 非常 接近 
论 相 变 点 时 找 不 到 实例 的 解 ， 但 是 得 到 的 最 优 解 仅 
的 约束 不 可 满足 。 同 时 


表 2 可 知 ， 当 p=0.17 时 ，BP-RSA-1 算法 和 BP-RSA-2 


为 
总 
理 


使 得 不 足 2% 
也 可 以 看 出 , BP-RSA-1 算法 和 BP-RSA- 


和 Ae 


2 算法 所 得 到 的 平均 最 少 不 可 满足 约束 的 数目 要 低 于 
法 和 GSA 算法 所 得 到 的 平均 最 少 不 可 满足 约束 的 数目 。 
BP-RSA-1 和 BP-RSA-2 这 两 个 算法 ， 都 是 利用 BP 方程 


RSA 和 


和 迭 


代 收 敛 到 不 动 点 后 得 到 每 个 变量 的 边际 概率 分 布 ， 分 别 采用 
大 概率 和 最 小 分 量 焙 的 策略 得 到 一 组 启发 式 的 初始 赋值 ， 
再 利用 RSA 算法 对 这 组 赋值 进行 修正 。 从 实验 结果 可 以 看 


取 


然后 


这 两 个 算法 的 求解 概率 和 运行 时 间 都 基本 相同 。 事 实 上 ， 这 
个 算法 虽然 采用 了 不 同 的 策略 ， 但 是 得 到 的 启发 式 的 初始 赋 
司 的 。 因 此 ， 这 两 个 算法 的 性 能 基本 相同 。 
于 这 两 个 算法 前 期 利用 BP 得 到 了 一 组 启发 式 的 初始 
值 ， 这 组 初始 赋值 虽然 不 是 随机 实例 的 解 , 但 是 相对 于 RSA 
法 的 随机 初始 化 赋值 ， 在 一 定 程度 上 减少 了 不 可 满足 约束 的 
。 因 此 后 期 再 利用 RSA 算法 进行 修正 时 , 大 大 提高 了 算法 
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两 
值 


赋 
算 
数 
效 


率 。 因 此 BP-RSA-1 和 BP-RSA-2 算法 表现 出 了 显著 优越 于 RSA 


算法 的 性 能 。 但 是 ， 由 于 在 利用 BP 算法 时 ， 本 文 是 同时 将 
有 变量 进行 赋值 的 ， 这 就 忽略 了 变量 之 间 取 值 的 相互 联系 ， 
有 充分 考虑 约束 对 变量 取 值 的 限制 作用 。 
足 性 相 变 发 生 之 前 就 已 经 失效 。 


从 而 导致 算法 在 可 满 


所 
没 
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4 ”结束 语 
本 文 提出 了 两 个 置信 传播 与 模拟 退火 相 结 合 的 算法 来 求解 
具有 可 变 取 值 域 的 随机 约束 满足 问题 ( 即 RB 模型 ), 分 别称 为 


二 


BP-RSA-1 和 BP-RSA-2 算法 。 


方 
组 


填 


变 
实 
可 
仅 
火 
的 


这 两 个 算法 都 是 先 通过 BP 迭代 
程 收敛 后 得 到 的 不 动 点 计算 出 所 有 变量 取 其 各 分 量 的 边际 概 
， 然 后 分 别 采取 最 大 概率 赋值 和 最 小 分 量 粒 赋 值 的 策略 得 到 
组 启发 式 的 初始 赋值 , 然后 再 通过 执行 RSA 算法 对 和 © 这 
初始 赋值 进行 修正 直到 得 到 最 优 解 . 而 RSA 算法 则 是 对 随机 
成 的 一 组 初始 赋值 进行 修正 。 实 验 结果 表明 ， 在 接近 理论 相 
点 时 , BP-RSA-1 算法 和 BP-RSA-2 算法 都 能 有 效 地 找到 随机 
例 的 解 , 且 与 RSA 算法 相 比 具有 显著 的 优越 性 。 虽 然 在 理论 
满足 相 变 发 生 之 前 这 两 个 算法 已 经 失效 ， 但 是 得 到 的 最 优 解 
使 得 少 于 2% 的 约束 是 不 可 满足 的 。 因 此 , 置信 传播 与 模拟 退 
相 结合 的 算法 在 求解 大 值 域 的 约束 满足 问题 时 表现 出 了 良好 


性 能 ， 对 求解 大 值 域 的 约束 满足 问题 具有 一 定 的 促进 作用 。 


党 


参考 文献 : 


[1] 


Xu Ke, Li Wei. Exact phase transitions in random constraint satisfaction 
problems [J]. Journal of Artificial Intelligence Research, 2000, 12 (1): 93- 
103. 

Achlioptas D，Kirousis L M, Kranakis E, et al. Random constraint 
satisfaction: A more accurate picture [C1]// Proc of International Conference 
on Principles and Practice of Constraint Programming. Berlin: Springer, 
1997: 107-120. 

Smith B M. Constructing an asymptotic phase transition in random binary 
constraint satisfaction problems [J]. Theoretical Computer Science, 2001, 
265 (1): 265-283. 

Molloy M. Models for random constraint satisfaction problems [J]. Siam 
Journal of Computing, 2003, 32 (4): 935-949. 

Frieze A, Molloy M. The satisfiability threshold for randomly generated 
binary constraint satisfaction problems [J]. Random Structure and 
Algorithms, 2006, 28 (3): 323-339. 

Xu Ke, Li Wei. Many hard examples in exact phase transitions [J]. 
Theoretical Computer Science, 2006, 355 (3): 291-302. 

Xu Ke, Boussemart F, Hemery F, et al. Random constraint satisfaction: Easy 
generation of hard (satisfiable) instance [J]. Artificial Intelligence, 2007, 171 
(8-9): 514-534. 

Zhao Chunyan, Zhou HJ, Zheng ZM, et al. A message-passing approach to 
random constraint satisfaction problems with growing domains [J]. Journal 
of Statistical Mechanics: Theory and Experiment, 2011, P02019. 

赵 春 艳 ， 郑 志明 . 一 种 基于 变量 炳 求解 约束 满足 问题 的 置信 传播 算法 


[J]. 中 国 科学 : 信息 科学 , 2012, 42 (9): 1170-1180. 


[10] Zhao Chunyan, Zhang Pan, Zheng Zhiming, et al. Analytical and belief- 


propagation studies of random constraint satisfaction problems with 


growing domains [J]. Physical Review E: Statistical Nonlinear & Soft 


201804.02049v1 


chinaXiv 


录用 稿 


Matter Physics, 2012, 85 (2): 016106. 

[11] 任 雪亮 , 改进 的 置信 传播 算法 在 求解 最 大 约束 满足 问题 的 应 用 [D]. 
长 春 : 东北 师范 大 学 , 2015. 

[12] 王晓峰 , 许 道 云 , RB 模型 实例 集 上 置信 传播 算法 的 收敛 性 [四 . 软件 学 


报 , 2016, 27 (11): 2712-2724. 


[13] 原 志 强 , 赵 春 艳 . 两 种 改进 的 模拟 退火 算法 求解 大 值 域 约束 足 问 题 [中 . 


hinaXiv 合 从 人 :i 


吴 拨 荣 ， 等 : 置信 传播 和 模拟 退火 相 结合 求解 
计算 机 应 用 研究 ,2017, 34 (12): 3611-3616. 

[14] Riccitersenghi F, Semerjian G. On the cavity method for decimated random 
constraint satisfaction problems and the analysis of belief propagation 
guided decimation algorithms [J]. Journal of Statistical Mechanics Theory 


& Experiment, 2009, 9 (3): 355-371. 


